De geschiedenis van het neogotische kasteel van Antoing, dat verrijst aan het uiteinde van een heuvel die uitkijkt op de Schelde, keert terug tot diep in de Middeleeuwen.
Zeger van Antoing is de eerste bekende vertegenwoordiger van het geslacht Antoing, dat hier tot de 14de eeuw heerst. Uit deze periode dateert de vestingmuur die grotendeels intact is gebleven.
De diverse middeleeuwse bouwwerken, zoals de donjon, in Doornikse kalksteen, evenals het ravelijn aan de ingang, zijn toe te schrijven aan een van de rijkste heren van Vlaanderen, Jan van Melun, die getrouwd was met Isabella van Antoing.
In de 17de eeuw komt het machtige bolwerk van de familie Melun, waar Filips de Goede, Karel de Stoute, Maximiliaan van Oostenrijk en vele anderen hebben verbleven, definitief in handen in van de Lignes. In de 19de eeuw verbouwde, en vergrote, de beroemde architect Viollet-le-Duc het neogotische kasteel van de Lignes in een prinselijke residentie.